数据项|校徽_Python实战高校数据采集，爬虫训练场项目数据储备

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Python实战高校数据采集，爬虫训练场项目数据储备相关的知识，希望对你有一定的参考价值。

在制作 爬虫训练场 项目时&＃xff0c;需要准备大量的数据&＃xff0c;供大家学习使用&＃xff0c;本系列博客用于数据储备。

文章目录

• • 示例代码如下所示
  • 数据入库
  
  

本次要采集的是高考大数据&＃xff0c;即 2022 年学校排名&＃xff0c;数据来源为百度&＃xff0c;地址如下。

https://motion.baidu.com/activity/gaokao2022/trend


通过开发者工具获取请求接口与请求参数&＃xff0c;得到内容如下所示。

1. 请求地址&＃xff1a;https://motion.baidu.com/gaokao/trendasync?pageSize&＃61;30&pageIndex&＃61;2
2. 请求方法&＃xff1a;POST
3. 请求头重点参数&＃xff1a;
   
   • origin&＃xff1a;域名
   • referer&＃xff1a;上一页地址
   • user-agent&＃xff1a;用户代理
4. 请求参数&＃xff1a;
   
   • 查询参数&＃xff1a;pageSize & pageIndex
   • 请求载荷&＃xff1a;"source":"全国","tabValue":"campus","filter":,"isScrolling":1

多次测试除 COOKIE 外&＃xff0c;无特殊加密参数&＃xff0c;并且我们对数据的采集效率无要求&＃xff0c;所以可以直接使用 requests 模块对请求进行模拟。

示例代码如下所示

一款普通的 requests 模块爬虫。

import json
import requests
def get_gaokao_data():
headers &＃61;
"origin": "https://motion.baidu.com",
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/108.0.0.0 Safari/537.36"

data &＃61; "source": "全国", "tabValue": "campus", "filter": , "isScrolling": 1
res &＃61; requests.post("https://motion.baidu.com/gaokao/trendasync?pageSize&＃61;30&pageIndex&＃61;0", headers&＃61;headers,
data&＃61;json.dumps(data))
print(res.text)
if __name__ &＃61;&＃61; &＃39;__main__&＃39;:
get_gaokao_data()


运行代码&＃xff0c;可以得到 JSON 格式的响应数据&＃xff0c;并且检测到 pageIndex 参数从 0 开始计数&＃xff0c;当设置为无限大时&＃xff0c;无数据返回&＃xff0c;即得到下述格式数据&＃xff0c;表示数据已经获取完毕。也可以通过判断 finished 的值判断请求是否结束。

"status":0,"msg":"successful","data":"list":[],"finished":true,"trace":"logid":xxxx


既然已经获取了起始和结尾数据&＃xff0c;那我们就可以对爬虫的采集层次进行控制了&＃xff0c;通过一个【死循环】抓取数据&＃xff0c;当 data/list 为空时&＃xff0c;结束采集。

数据入库

上文的示例代码&＃xff0c;已经成功采集到 JSON 数据&＃xff0c;接下来将其存储到 mysql 数据库中&＃xff0c;建表前对响应数据进行格式化操作&＃xff0c;核对字段。这里重要的是 data/list 中的数据项。

批次/batchTimes&＃xff1a;本科
类别/category&＃xff1a;综合类
城市/city&＃xff1a;城市
特色/feature&＃xff1a;["上海", "本科", "综合类", "985", "211", "双一流", "强基计划", "自主招生"]
热度/hotValue&＃xff1a;
学校名/name&＃xff1a;同济大学
校徽/pic&＃xff1a;&＃96;ttps://static-data.eol.cn/upload/logo/73.jpg&＃96;
省份/province&＃xff1a;"上海"


基于该数据&＃xff0c;建立数据表结构如下所示。

接下来编写数据解析函数和数据入库函数&＃xff0c;代码如下所示。

def format_data(data):
"""
数据解析函数
:return:
"""
finished &＃61; data["data"]["finished"]
if finished:
# 数据采集完毕
return -1
else:
ret_list &＃61; data["data"]["list"]
school_list &＃61; []
for item in ret_list:
province &＃61; item["province"]
city &＃61; item["city"]
name &＃61; item["name"]
batchTimes &＃61; item["batchTimes"]
pic &＃61; item["pic"]
feature &＃61; ",".join(item["feature"])
hotValue &＃61; item["hotValue"]
category &＃61; item["category"]
school_list.append((name, province, city, feature, hotValue, pic, category, batchTimes))
insert_mysql(school_list)


上述代码无特殊部分&＃xff0c;仅数据采集结束时&＃xff0c;返回了状态值 -1&＃xff0c;该值用于后续在主函数进行判断使用。

数据入库代码&＃xff0c;使用 cursor.executemany()&＃xff0c;函数编码如下所示。

def insert_mysql(schools):
"""
插入MySQL数据
:return:
"""
conn &＃61; pymysql.connect(
host&＃61;&＃39;127.0.0.1&＃39;,
port&＃61;3306,
user&＃61;&＃39;root&＃39;,
password&＃61;&＃39;root&＃39;, # 你的密码
database&＃61;&＃39;playground&＃39;,
charset&＃61;&＃39;utf8&＃39;
)
cursor &＃61; conn.cursor()
sql &＃61; "insert into school_list(name,province,city,feature,hotValue,pic,category,batchTimes)values(%s,%s,%s,%s,%s,%s,%s,%s)"
affect_rows &＃61; cursor.executemany(sql, schools)
conn.commit()
cursor.close()
conn.close()


运行代码&＃xff0c;可以将首页数据插入到表格中&＃xff0c;共采集到 30 条数据&＃xff0c;在 MySQL 表中查阅如下。

最后一步&＃xff0c;将刚刚的代码扩展到全量数据&＃xff0c;即【死循环】实现数据采集。

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:
flag &＃61; True
index &＃61; 1
while flag:
ret &＃61; get_gaokao_data(index)
index &＃43;&＃61; 1
if ret &＃61;&＃61; -1:
flag &＃61; False


运行几秒钟之后&＃xff0c;可以得到完整数据&＃xff0c;最后的结果是 2760 所学校。

这些数据&＃xff0c;最后将发布到 pachong.vip&＃xff0c;大家可以交流学习使用。

&＃x1f4e2;&＃x1f4e2;&＃x1f4e2;&＃x1f4e2;&＃x1f4e2;&＃x1f4e2;
&＃x1f497; 你正在阅读 【梦想橡皮擦】 的博客
&＃x1f44d; 阅读完毕&＃xff0c;可以点点小手赞一下
&＃x1f33b; 发现错误&＃xff0c;直接评论区中指正吧
&＃x1f4c6; 橡皮擦的第 804 篇原创博客

从订购之日起&＃xff0c;案例 5 年内保证更新

• ⭐️ Python 爬虫 120&＃xff0c;点击订购 ⭐️
• ⭐️ 爬虫 100 例教程&＃xff0c;点击订购 ⭐️